Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
推荐基础模型的渐进式多阶段后训练与业务对齐
🧭 推荐基础模型的渐进后训练与奖励对齐 ★ 深度解读
NAVER WEBTOON
通过三阶段渐进后训练（LP→FFT→RFT）分离适配与对齐，用奖励模型引导策略优化，显著提升深度业务指标
📌 工作参考价值（4 点）
- 当基础模型适配下游任务时，先做线性探测（LP）冻结骨干训练 Task Head，再做全参数微调（FFT），并使用差异化学习率（骨干学习率 1/10），可有效缓解灾难性遗忘，稳定适配过程。
- 不要直接将面向业务指标的奖励模型作为排序策略部署；将其作为 RFT 的对齐信号，对基于密集隐式反馈（如点击）训练的排序策略进行 fine-tune，既能提升深层业务指标，又保持强排序能力。
- 奖励模型训练时，利用倾向得分（IPS）加权矫正曝光偏差，并用序数回归（Ordinal Regression）将多级漏斗转化为连续奖励分数，可作为电商推荐中多阶段转化（浏览→加购→下单→支付）等长周期目标的通用建模方式。
- 在线上系统上线新模型时，可采用 GRPO 做奖励对齐，其在深度参与指标上优于 DPO；若偏好信号密集且可靠（如基于实际漏斗阶段），DPO 也可作为轻量替代，尤其适合提升即时点击行为。